大数据技术的最新进展和发展趋势

https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=m03552bjv2u

本文为孙元浩先生在2016年BDTC会议上发表的主题演讲（视频时长27分钟）。

Hadoop相关的大数据技术在最近两年中出现了一些新的进展和变化，一些过时技术被淘汰，例如Storm、Flume等，同时也涌现了一些新的技术和进展，例如Flink等。本次演讲内容将介绍三个方向上的最新技术进展：交互式数据分析、机器学习、实时流处理技术，以及这些新技术的潜在应用场景。交互式分析过去一直是Hadoop技术的主要应用之一，一度有25%的Hadoop用户用于建设数据集市和数据探索类应用。交互式分析的计算技术，从4年前模仿MPP数据降低调度延时、过渡到内存计算、概率数据库和数据立方体等，研发人员一直致力于提高分析的性能。机器学习技术的关注点从计算框架、算法的分布式实现，开始转向提高算法／模型的准确度、模型选择和特征工程的自动化，以及最近的深度学习。实时流处理技术过于一直在Lambda和Kappa架构上争论，一直致力于实现一个融合真正事件驱动的流计算引擎和批处理引擎的融合计算引擎。这三个方向上的最新进展将进一步推动大数据技术的深入应用。

演讲PPT如下：

---

回复关键字，获取更多资讯

简介 | 产品 | 技术 | 案例集 | 培训 | 白话大数据评测  投资 | 新手上路 | Holodesk | TED视频金融 | 电力 | 视频监控 | 运营商 |交通 税务 | 电商 | 智能金融 | 医疗 | 快递